MoE已然成为AI界的主流架构，不论是开源Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。最近，谷歌DeepMind提出了全新的策略PEER，可将MoE扩展到百万个专家，还不会增加计算成本。
来自主题: AI技术研报
7845 点击 2024-07-15 20:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
MoE已然成为AI界的主流架构，不论是开源Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。最近，谷歌DeepMind提出了全新的策略PEER，可将MoE扩展到百万个专家，还不会增加计算成本。
最近，多个机构学者合著的一篇研究为AI的规模化指了一条新路：物理神经网络（PNN），这一新兴的前沿领域还鲜少有人涉足，但绝对值得深耕！AI模型再扩展1000倍的秘密可能就藏在这里。
Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。
这几年，人们都在谈论大模型。特别是在 Scaling Law 的指导下，人们寄希望于将更大规模的数据用于训练，以无限提升模型的智能水平。在中国，「数据」作为一种与土地、劳动力、资本、技术并列的生产要素，价值越来越被重视。
「Scaling Law is not enough，虽然有红利，但并不能通往真正的 AGI。」
只有10亿参数的xLAM-1B在特定任务中击败了LLM霸主：OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。上个月刚发布的苹果智能模型只有30亿参数，就连奥特曼都表示，我们正处于大模型时代的末期。那么，小语言模型（SLM）会是AI的未来吗？
在盖茨眼里，AI对于计算机交互的革命还没来到，但是Scaling Law似乎已经看到尽头了。
只需几分钟、一张图或一句话，就能完成时空一致的4D内容生成。
虽然 OpenAI 反复强调 Scaling Law 是大模型最重要的原则，但事实上，GPT-4 在过去一年里缩小了 10 倍。
AGI太遥远，只有模型降价是共识。